交叉口|因果_论文笔记：GraphWaveNetforDeepSpatialTemporalGraphModeling

篇首语：本文由编程笔记#小编为大家整理，主要介绍了论文笔记：Graph WaveNet for Deep Spatial-Temporal Graph Modeling相关的知识，希望对你有一定的参考价值。

IJCAI 2019

• 时空数据挖掘问题大多数使用邻接矩阵来建模节点之间的属性关系&＃xff0c;这种思路的一个基本假设是&＃xff1a;节点信息取决于自身和邻居的历史信息。      
  
  • 但这类模型的假设存在着一些问题&＃xff1a;
    
    • 未能充分建模节点之间的依赖关系
      
      • 两个节点之间没有连边&＃xff0c;但是有依赖关系
      • 两个节点虽然是邻居节点&＃xff0c;但是没有依赖关系
    • 未能有效学习到时间的依赖关系
      
      • RNN&＃xff1a;迭代传播耗时&＃xff08;无法并行&＃xff09;、存在梯度爆炸/消失的问题
      • CNN&＃xff1a;需要迭代很多层&＃xff0c;才能得到较大的感受野
• ——>这篇论文提出graph Wavenet&＃xff0c;使用自适应的邻接矩阵&＃xff0c;在没有先验知识的情况下建模节点的空间依赖关系&＃xff1b;同时使用扩散图卷积&＃43;空洞卷积&＃xff0c;来解决第二个问题

• 给定图G&＃61;(V,E)&＃xff0c;其中节点集V&＃xff0c;边集合E
  
  • 邻接矩阵为
  • 在某一时间步t&＃xff0c;输入的节点信号矩阵是
• 这篇论文的目标和一般的时空数据预测类似&＃xff0c;给定图G和过去S步的图信号数据&＃xff0c;预测接下来T步的图信号

3.1 自适应扩散图卷积&＃xff08;空间依赖关系&＃xff09;

• 无向图的扩散图卷积
  
  • 
    
    • &＃xff0c;表示某个点转移到其他点的概率
• 有向图的扩散图卷积
  
  • 
    
    • &＃xff0c;表示某个点转移到其他节点的概率&＃xff08;正向扩散&＃xff09;
    • &＃xff0c;表示某个节点从其他节点转移过来的概率&＃xff08;反向扩散&＃xff09;
• 上面两个主要是DCRNN的思路【论文笔记&＃xff1a;DCRNN &＃xff08;Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting&＃xff09;_UQI-LIUWJ的博客-CSDN博客】&＃xff0c;本篇论文的highlight是首次引入了自适应图结构的概念&＃xff0c;公式如下&＃xff1a;
  
  • 
    
    • E1和E2是随机初始化的两个节点的embedding&＃xff08;以METR-LA为例&＃xff0c;METR-LA有207个节点&＃xff0c;代码 里 E1 、E2维度分别均是 &＃xff08;207,10&＃xff09;)
      
      • 分别表示每个点作为源节点和目标节点之间的空间依赖权重
    • 使用Relu消除自适应邻接矩阵中的弱连接
    • 使用Softmax归一化自适应邻接矩阵
  • ——>可以将归一化的自适应邻接矩阵视为隐藏扩散过程的转换矩阵‘

• 结合预定义的空间依赖关系和自适应的隐藏空间依赖关系&＃xff0c;就有了如下的图卷积
  
  • 
• 如果事先没有预定义的空间依赖关系&＃xff0c;那么只使用自适应图卷积
  
  • 

3.2 时间卷积网络&＃xff08;时间依赖性&＃xff09;

使用空洞因果卷积 (dilated causal convolution)来捕获时间趋势

3.2.1 门控TCN

3.3 整体模型

4.1 不同模型对比

4.2 不同邻接矩阵构造方式对比 

 4.3 自适应邻接矩阵可视化

论文比较了9号节点和47号节点&＃xff0c;通过左图可以发现&＃xff0c;9号节点这一列有值的要多一些&＃xff1a;9号节点和更多的其他节点有影响&＃xff1a;通过右图可以发现&＃xff0c;确实9号节点在交叉口&＃xff0c;47号节点就“偏远”了很多

4.4 预测结果可视化

graph wavenet和真实值更贴切一些

4.5 计算时间

• Training的话&＃xff0c;Graph WaveNet需要多训练两个embedding E1和E2&＃xff0c;所以会稍微慢一些
• 但是在inference阶段&＃xff0c;graph wave是使用空洞卷积来进行预测的&＃xff0c;可以一次性预测很多个未来的时间片&＃xff1b;而DCRNN和STGCN都是使用RNN的&＃xff0c;需要一个一个时间片迭代&＃xff0c;故Graph WaveNet会快一些